Progressive Learning from Content to Relevance to Personalization for CTR Prediction
从内容到相关性再到个性化的渐进式 CTR 预估
🧭 多模态 CTR 预测 · Semantic ID ★ 深度解读
Alibaba Group
用多尺度细粒度 Semantic ID 将多模态内容融入 ID 型 CTR 模型，先做 query-item 相关性预训练再做点击微调，显著提升冷启动与创意区分
📌 工作参考价值（4 点）
- 把连续多模态 embedding 换成多尺度、字段保留的离散 SID：图片用 VAR 多尺度 code maps（1×1/2×2/3×3/4×4）得到 30 个 spatial token，不要用单个 global embedding；下游 SID lookup 可随机初始化，卡片离线抽取、在线只做 lookup，避免生成延迟。适合电商主图、创意图片、标题/OCR 等多模态特征接入现有 ID 排序模型。
- 两段式训练可直接迁移到业务：先做 query-item relevance 等语义相关任务（可用 LLM 教师或人工标注）全参数预训练共享 backbone，再用点击/转化日志全量微调。注意保留 dense 和 normalization 状态，只重置稀疏 optimizer accumulators；这比 embedding-only transfer 收益更大，也避免联合训练分布冲突。
- 架构上用 query 做 Q、title/OCR tokens 做 K/V 的 cross-attention，输出按字段身份拼接；图片 SID 按 scale/position 固定顺序拼接，避免平均池化。此设计在搜索广告、推荐主图排序里可复用，尤其适合需要识别同 item 不同创意差异的场景。
- 评估时除 AUC/GAUC，建议增加冷启动子集和同 item 内不同创意的 replay CTR（NSCTR），否则 ID 记忆会掩盖语义理解收益；在线业务指标中 GMV 提升幅度值得重点关注。